#!python3
# -*- coding: utf-8 -*-

import requests
import re
import os
from lxml import etree

urls = 'http://www.169we.com/gaogensiwa/'
headers = {

    "User-Agent":"Mozilla/5.0 (windows NT 10.0;win64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134"
}

'''
   爬取169美女图片
   目标: 以对象的形式编程
   过程 -1.请求-2.分析图片页面链接保存入列表--3.提取下一页链接存入列表---4.循环第二步骤到满足条件--5.从图片页面列表提取图片
   6.将图片按指定方式命名保存
   框架结构     ----
   [解析器] 提取内容包括:页面标题,分类链接,页面链接和下一页链接,图片链,图片名称
   [url管理器] 添加,取出,去重
   [存储] 图片按分类存到目录的文件夹下,链接地址和标题按分类存到统一文件内
'''

class parsser(object):

    '解析器'
    #改用xpath提取内容会比较便捷

    def sptext(self):
        '提取标题'
        pattern_texts = re.compile('text')
        return re.search(pattern_texts,self)

    def spjpgname(self):
        '提取图片名称'
        pattern_jpg = re.compile('jpgname')
        return re.findall(pattern_jpg,self)

    def spclassurl(self):
        '提取分类链接'
        pattern_curl = re.compile('classurl')
        return re.findall(pattern_curl,self)

    def nextpage():
        '下一页链接'
class url_manager(object):

    """url管理器"""

    def urlget(self):
        news_url = []
        for urls in url:
            if urls not in news_url:
                news_url.append(urls)
        return news_url
class store():
    '存储,应用'
#     namefine = 'tupian'
     # if not os.namefine.exists(namefine):
        # os.makedirs(namefine)
        # print('新建文件夹' + namefine)
    # for i in html:
        # num += 1
        # response = requests.get(i).content
        # filenname = path + '/' + str(num) + '.jpg' #将图片倒数第二个字符串作为文件名
        # print(i)
        # print('保存图片：%s' % filenname)
        # with open(filenname,'wb') as f:
            # f.write(response)
            # f.close()


# ''' 过程 -1.请求-2.分析图片页面链接保存入列表--3.提取下一页链接存入列表---4.循环第二步骤到满足条件--5.从图片页面列表提取图片
   # 6.将图片按指定方式命名保存
# '''
if __name__ == "__main__":
    html = requests.get(urls,headers)
    selector = etree.HTML(html)
    print(htmls)
